Какие компромиссы при выборе более сложной модели для маленького, но чистого датасета, versus более простой модели для большого, но шумного датасета
▪️Сложная модель на маленьком, но качественном датасете: — Может лучше обобщать, если шум минимален, потому что на таком датасете модель фокусируется на сильных, стабильных паттернах. — Однако, сложные модели могут переобучаться при недостаточном объеме данных, особенно если выборка не отражает всю разнообразие распределения данных.
▪️Простая модель на большом, шумном датасете: — Простая модель может быть более устойчивой к выбросам и случайному шуму, если данных достаточно, чтобы сгладить несоответствия. — Если шум не слишком велик, то большой датасет может позволить модели выявить общие тенденции, несмотря на неточности.
▪️ Подводные камни и крайние случаи: — Несоответствие между емкостью модели и размером данных: сложная модель может запомнить маленькие подмножества данных, не научившись обобщать.
— Чрезмерное упрощение при сильном шуме: если датасет слишком шумный и при этом используется простая модель, можно недообучиться, упустив важные детали.
— Сдвиги в распределении данных: сложная модель может случайно выучить артефакты, которые встречаются только в маленькой выборке, в то время как простая модель на большом датасете может схватывать более обобщенные особенности.
Какие компромиссы при выборе более сложной модели для маленького, но чистого датасета, versus более простой модели для большого, но шумного датасета
▪️Сложная модель на маленьком, но качественном датасете: — Может лучше обобщать, если шум минимален, потому что на таком датасете модель фокусируется на сильных, стабильных паттернах. — Однако, сложные модели могут переобучаться при недостаточном объеме данных, особенно если выборка не отражает всю разнообразие распределения данных.
▪️Простая модель на большом, шумном датасете: — Простая модель может быть более устойчивой к выбросам и случайному шуму, если данных достаточно, чтобы сгладить несоответствия. — Если шум не слишком велик, то большой датасет может позволить модели выявить общие тенденции, несмотря на неточности.
▪️ Подводные камни и крайние случаи: — Несоответствие между емкостью модели и размером данных: сложная модель может запомнить маленькие подмножества данных, не научившись обобщать.
— Чрезмерное упрощение при сильном шуме: если датасет слишком шумный и при этом используется простая модель, можно недообучиться, упустив важные детали.
— Сдвиги в распределении данных: сложная модель может случайно выучить артефакты, которые встречаются только в маленькой выборке, в то время как простая модель на большом датасете может схватывать более обобщенные особенности.
Telegram auto-delete message, expiring invites, and more
elegram is updating its messaging app with options for auto-deleting messages, expiring invite links, and new unlimited groups, the company shared in a blog post. Much like Signal, Telegram received a burst of new users in the confusion over WhatsApp’s privacy policy and now the company is adopting features that were already part of its competitors’ apps, features which offer more security and privacy. Auto-deleting messages were already possible in Telegram’s encrypted Secret Chats, but this new update for iOS and Android adds the option to make messages disappear in any kind of chat. Auto-delete can be enabled inside of chats, and set to delete either 24 hours or seven days after messages are sent. Auto-delete won’t remove every message though; if a message was sent before the feature was turned on, it’ll stick around. Telegram’s competitors have had similar features: WhatsApp introduced a feature in 2020 and Signal has had disappearing messages since at least 2016.
Mr. Durov launched Telegram in late 2013 with his brother, Nikolai, just months before he was pushed out of VK, the Russian social-media platform he founded. Mr. Durov pitched his new app—funded with the proceeds from the VK sale—less as a business than as a way for people to send messages while avoiding government surveillance and censorship.
Библиотека собеса по Data Science | вопросы с собеседований from ru
